Vua Hán nghe tin Hàn Thiên Thu bị giết, sai Phục ba tướng quân Lộ Bác Đức xuất phát từ Quế Dương, Lâu thuyền tướng quân Dương Bộc xuất phát từ Dự Chương, Qua thuyền tướng quân Nghiêm[2] xuất phát từ Linh Lăng, Hạ lại tướng quân Giáp[3] đem quân xuống Thương Ngô, Trì Nghĩa hầu Quý[4] đem quân Dạ Lang xuống sông Tường Kha, đều hội cả ở Phiên Ngung.

Mùa đông năm 111 TCN, tướng nhà Hán là Dương Bộc đem 9.000 tinh binh hãm Tầm Hiệp, phá Thạch Môn lấy được thuyền thóc của quân Triệu, kéo luôn cả các thuyền ấy đi, đem mấy vạn người đợi Lộ Bác Đức. Bác Đức cùng Bộc hội quân tiến đến Phiên Ngung.

Triệu Thuật Dương Vương và Lữ Gia cùng giữ thành. Dương Bộc tự chọn chỗ thuận tiện đóng ở mặt đông nam, Lộ Bác Đức đóng ở mặt tây bắc.

Vừa chập tối, Dương Bộc đánh bại quân Triệu, phóng lửa đốt thành. Bác Đức không biết quân trong thành nhiều hay ít bèn đóng doanh, sai sứ chiêu dụ. Ai ra hàng đều được Đức cho ấn thao và tha cho về để chiêu dụ nhau. Dương Bộc cố sức đánh, đuổi quân Triệu chạy ngược vào dinh quân của Lộ Bác Đức. Đến tờ mờ sáng thì quân trong thành đầu hàng. Triệu Dương Vương và Lữ Gia cùng với vài trăm người, đang đêm chạy ra biển.

Bác Đức lại hỏi những người đầu hàng biết chỗ ở của Lữ Gia, bèn sai người đuổi theo. Hiệu úy tư mã là Tô Hoằng (蘇弘) bắt được Kiến Đức, Quan lang của Nam Việt là Đô Kê (都稽; có bản chép là Tôn Đô) bắt được Lữ Gia. Các xứ ở Nam Việt đều xin hàng.

Lữ Gia và vua Triệu sau đó đều bị quân Hán giết.

Theo truyền thuyết, khi Lữ Gia bị bắt và chém đầu, một con chó đã cắp đầu của ông rồi bơi qua sông và chôn giấu. Hiện nay, đền thờ Lữ Gia vẫn còn tại một làng ở xã Quang Yên, huyện Lập Thạch, tỉnh Vĩnh Phúc.Theo một số truyền thuyết khác thì sau khi bị quân Hán chém đầu nhưng chưa đứt hẳn, ông phóng ngựa chạy về vùng đất Vụ Bản, Nam Định. Khi chạy đến thị trấn Gôi bây giờ thì gặp một bà hàng nước. Lữ Gia hỏi là người bị chém mất đầu có sống được không, bà hàng nước cười nói người mất đầu thì làm sao sống được, tức thì đầu của Lữ Gia lìa khỏi thân. Dân vùng Vụ Bản chôn và lập đền thờ ở nhiều nơi trong huyện. Tương truyền đầu, thân và chân của ông được thờ ở ba làng khác nhau. Ngày xưa có hội rước tại các đình, miếu thờ ông trong khắp huyện, to gần bằng hội Phủ Dầy. Truyện này được ghi trong "Thiên Bản lục kỳ", là một trong sáu truyện kỳ lạ của vùng đất Thiên Bản xưa (nay là Vụ Bản).